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Prufungsantrag gem. § 44 PatG ist gestellt 

@ Kamerabasiertes Precrash-Erkennungssystem 

(§) Verfahren und eine Vorrichtung zur Detektion von Ver- 
kehrsteilnehmern und Hindernissen auf der Grundlage 
von Kamerabildern, zu der Bestimmung deren Entfer- 
nung vom Beobachter und zu deren Klassifikation. In ei- 
ne rzwei-stufi gen Klassifikation werden potentielle Unfall- 
gegner erkannt und identifiziert. Dabei werden in einem 
ersten Schritt potentielle Unfallgegner in den Bilddaten 
einer Monobildkamera markiert, anschliefSend deren Ent- 
fernung und relative Geschwindigkeit bestimmt, so daS 
gezielt gefahrdende Objekte in Echtzeit einer Typ-Klassifi- 
kation unterzogen werden konnen. Durch die Aufspaltung 
der Erkennungstatigkeit in mehrere Stufen wird die Echt- 
zeitfahigkeit des Systems auch mit konventionellen, be- 
reits im Fahrzeug vorhandenen Sensoren ermoglicht. 
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Beschreibung 

[0001] Die Erfindung betrifft ein Verfahren gemaB dem 
Oberbegriff des Patentanspruches 1 und ein fur die Durch- 
fuhrung des Verfahrens geeignete Vorrichtung gemaB dem 5 
Oberbegriff des Patentanspruches 15. 
[0002] Die fruhzeitige Erkennung eines bevorstehenden 
Aufpralls eines Verkehrsteilnehmers auf das Fahrzeug eines 
Beobachters, ermoglicht es den Insassenschutz als auch den 
Schutz des Kollisionsgegners zu verbessem. Der Zeitge- 10 
winn, der durch die visuelle Erfassung und Auswertung des 
einsehbaren Bereichs vor dem Fahrzeug des Beobachters 
gewonnen werden kann, erlaubt abgestufte Reakdonen der 
Insassenschutzsysteme (z. B. eine sanfte Zundung des Air- 
bag), bzw. macht Reakdonen zum Schutz des Kollisions- 15 
gegners erst moglich (z. B.: Anhebung der Motorhaube im 
Falle der FuBgangerkollision). Durch Entwicklungen hin zu 
schaltbaren Crash-Strukturen wird der Kenntais fiber Typ 
des Unfallgegners (Lkw, Pkw, Kraftrad, FuBganger) eine 
immer groBere Bedeutung zukommen. 20 
[0003] Die aktuelle Entwicklung von Precrash-Sensoren 
befaBt sich u. a. mit der Untersuchung von auf Infrarot-La- 
ser, Ultraschall- oder Radar-Sensoren basierenden Metho- 
den. Nachteile dieser Systeme sind teilweise ihre geringe 
Reichweite (Ultraschall, Infrarot-Laser) und ihre Unfahig- 25 
keit den potentiellen Kollisionsgegner im Sinne einer siche- 
ren Typisierung (Lkw, Pkw, Motorrad, Mensch) zur unter- 
scheiden. Bei radar-basierten Systemen konnen unter ande- 
rem nicht-metallische Objekte (z. B.: Menschen oder 
Baume) mit kostengunstigen, fur den Fahrzeugeinsatz ge- 30 
eigneten Sensoren nicht zuverlassig detektiert werden. Eine 
zuverlassige Detektion und sichere Typisierung ist jedoch 
fur eine Anpassung einer optimal gestuften Reaktion von Si- 
cherheitssystemen bezuglich bevorstehender Kollisionen 
notwendig. Im Rahmen einer solchen gestuften Reaktion 35 
sollen beispielsweise im Falle einer Kollision mit einem 
FuBganger aktive MaBnahmen zu dessen Schutz ergriffen 
werden. Denkbar sind hierbei rasche Anderungen in der Ge- 
stalt der Fahrzeugkarosserie um die Wahrscheinlichkeit 
schwerer Kopf- und Beinverletzungen zu reduzieren. 40 
Grundvorausselzung zur Aktivierung dieser MaBnahmen ist 
jedoch, daB das Schutzsystem in der Lage ist, Verkehrsteil- 
nehmer sicher zu erkennen und ihrem Typ (z. B.: Pkw, Lkw, 
Radfahrer, FuBganger) nach zu klassifizieren. 
[0004] Im allgemeinen wird bei Interpretationsverfahren 45 
fur Bildszenen versucht bereits im ersten Schritt mit einem 
meist aufwendigen Sensor (Stereo-Sensor oder hochauflo- 
sendes Radar bzw. Lidar) neben einer reinen zweidimensio- 
nalen Bildin formation bereits mehr-dimensionale Szenenin- 
formation zu gewinnen. Um hierbei Objekte detektieren zu 50 
konnen gehen diese Verfahren jedoch von Modellen, vor al- 
lem bzgl. der Lage und Ausrichtung potentieller Ziele sowie 
einer vorgegebenen, festen Geometrie der Ausrichtung be- 
ziiglich Sensor und Umgebung aus. In der Praxis ist jedoch 
oft festzustellen, daB diese Modelle und Annahmen des of- 55 
teren mit den realen Bedingungen nicht iibereinstimmen, 
was dann in Fehlinterpretationen miindet. 
[0005] Aufgabe der Erfindung ist es ein Verfahren und 
eine geeignete Vorrichtung zu finden, welches es erlaubt 
Verkehrsteilnehmer auf der Grundlage von Kamerabildem 60 
zu detektieren, deren Entfernung vom Beobachter zu be- 
stimmen und die Verkehrsteilnehmer zu klassifizieren. 
[0006] Die Aufgabe wird durch ein Verfahren und eine zur 
Durchfuhrung dieses Verfahrens geeignete Vorrichtung mit 
den in den Anspriichen 1 und 15 beschriebenen Merkmalen 65 
gelost. Hierbei ermoglicht die in mehrere Schritte geglie- 
derte Datenaufnahme und Objektidentifikation die Verwen- 
dung konventioneller Sensorik und bietet zugleich das Po- 
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tential fur eine echtzeitfahige Realisierung. 

[0007] Vorteilhafte Ausgestaltungen und Weiterbildungen 

der Erfindung sind in den untergeordneten Anspriichen an- 

gefuhrt. 

[0008] Das erfindungsgemaBe Verfahren identifiziert Re- 
gionen innerhalb eines Kamerabildes, in welchem sich Ver- 
kehrsteilnehmer oder Hindernisse befinden. In vorteilhafter 
Weise ist es dabei ausreichend, daB dieses Kamerabild reine 
zweidimensionale Bildinformation ohne Entfernungsauflo- 
sung enthalt. Die Identifikation erfolgt mit Hilfe eines spe- 
ziell auf die zu erkennenden Verkehrsteilnehmern und Hin- 
dernissen trainierten Klassifikators. In einem nachfolgenden 
Schritt, werden sodann die entsprechend identifizierten Re- 
gionen markiert und mittels eines entfernungs-messenden 
Sensors bezuglich ihrer Entfemung vom Beobachter ver- 
messen. AbschlieBend werden ausgewahlte Regionen einer 
Typ-Klassifikation zur exakten Bestimmung der Art von 
Verkehrsteilnehmer oder Hindemis zugefuhrt. 
[0009] Eine zur Durchfuhrung dieses Verfahrens geeig- 
nete Vorrichtung enthalt eine Monobildkamera, welche mit 
einer entfernungs-messenden Sensoreinheit gekoppelt ist. 
Dabei befindet sich dieser Kopplung zwischen- und nachge- 
schaltet jeweils eine Klassifikationseinheit. 
[0010] In einer vorteilhaften Ausgestaltung der Vorrich- 
tung ist der nachgeschalteten Klassifikationseinheit, welche 
der Typ-Klassifikation dient, eine Auswahleinheit vorge- 
schaltet, mit Hilfe derer die Anzahi an zu klassifizierenden 
Regionen gesteuert werden kann. 

[0011] Fig. 1 zeigt schematisch eine vorteilhafte Ausge- 
staltung einer solchen Vorrichtung zur Durchfuhrung des er- 
findungsgemaBen Verfahrens. Hierbei stellt die Monobild- 
kamera 1 die Bilddaten 10 einer Klassifikationseinheit 2 zur 
Verfugung, welche Bildregionen die Verkehrsteilnehmer 
oder Hindernisse enthalt identifiziert und der entfernungs- 
messenden Sensoreinheit 3 die entsprechenden Positionsda- 
ten mitteilt. Die Sensoreinheit 3 vermiBt sodann diese Berei- 
che bezuglich ihrer Entfernung vom Beobachter. Diese 
MeBdaten 30 stehen dabei, gemeinsam mit den Daten 20 der 
ersten Klassifikationseinheit 2, einer Auswahleinheit 4 zur 
Verfugung. Mittels der Auswahleinheit 4 kann der Daten- 
fluB zur nachgeschalteten Einheit zur Typ-Klassifikation 
von ausgewahlten Verkehrsteilnehmern oder Hindernissen 5 
gesteuert werden. Der Klassifikationseinheit 5 werden die 
von der Auswahleinheit ausgewahlten Bilddaten 40 zur 
Klassifikation ubermittelt werden. Die Ergebnisse 50 dieser 
Typ-Klassifikation werden in vorteilhafter Weise einem mit 
der Klassifikationseinheit verbundenen Gefahrenrechner zur 
Verfugung gestellt, so daB dieser Entscheidungen fiber die 
Notwendigkeit der Einleitung von situationsgerechen Reak- 
tionen auf trefTen kann. 

[0012] In einer anderen vorteilhaften Ausgestaltung der 
erfindungsgemaBen Vorrichtung ist es auch denkbar, daB die 
Auswahleinheit 4 entfallt und grundsatzlich alle Daten 20 
und 30 der Klassifikationseinheit 5 direkt zugefuhrt werden. 
[0013] In besonders vorteilhafter Weise lafit sich das erfin- 
dungsgemaBe Verfahren zur Identifikation von Verkehrsteil- 
nehmern und Hindernissen durch die Verwendung eines Hy- 
perpermutations-Netzwerk im Rahmen der Klassifikations- 
einheit 2 gestalten. Ein solches Netzwerk ist in der Lage mit 
hoher Geschwindigkeit pixelbasiert innerhalb der Bilddaten 
10 Bereiche zu lokalisieren, welche zu einer bestimmten 
Klasse (hier Verkehrsteilnehmer und Hindernisse) gehoren. 
Der Vorteil der Verwendung einfacher zweidimensionaler 
Bildinformation, zeigt sich nicht nur darin, daB das Verfah- 
ren der Verwendung einer einfachen kostengunstigen Ka- 
mera offen steht, sondern insbesondere auch in der Moglich- 
keit leistungsfahige Klassifikationsalgorithmen unter Echt- 
zeitbedingungen die gesamte Bildinformation auswerten zu 
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lassen. Da die von einer Monobildkamera 1 gelieferte Bild- 
information 10 recht simpel ist, ist es im Gegensatz zu her- 
kornmlichen meist auf sehr komplexen Daten arbeitenden 
Verfahren moglich, jedes einzelne Bildpixel in die Klassifi- 
kation mit aufzunehmen. 5 
[0014] Innerhalb der Klassifikationseinheit 2 wird dem ei- 
gentlichen Klassifikator (beispielsweise dem Hyperpermu- 
tations-Netzwerk) ein Algorithmus, vorteilhafter Weise ein 
auf diese Aufgabe adaptierter Box-Algorithmus, nachge- 
stellt, welcher zusammengehorige Regionen zu "regions of 10 
interest" ROI zusammenfaBt und markiert, so daB diese ei- 
ner Weiterverarbeitung zugefuhrt werden konnen. 
[0015] Im Rahmen dieser Weiterverarbeitung werden die 
diesen ROI zugehorigen Bereiche mittels eines entfernungs- 
messenden Sensors 3 beziiglich ihrer Entfernung vom Beob- 15 
achter vermessen. In vorteilhafter Weise eignen sich hierfur 
Radarsysteme oder Stereo-Kamera-Systeme. Da die von 
diesen Sensoren gewonnenen Daten rein zur Entfemungs- 
schatzung und nicht zu einer Typ-Klassifikation in bezug auf 
die Art von Verkehrsteilnehmer oder Hindernis herangezo- 20 
gen werden, ist es nicht notwendig diese Sensoren mit extre- 
men Winkelauflosungen und extrem rechenaufwendigen, 
robusten Modellen auszustatten. Es kann bevorzugt somit 
also auf bereits im Fahrzeug vorhandene in ihrer Hauptaus- 
richtung auf andere Anwendungen spezialisierte Sensoren 25 
zuriickgegriffen werden. 

[0016] In einer anderen vorteilhaften Ausgestaltung des 
erfindungsgemaBen Verfahrens ist es aber auch denkbar, 
mittels einer Monobildkamera in Zusammenarbeit mit einer 
komplexen Bildauswertung, im Bereich der ROI eine Ent- 30 
feraungsschatzung durchfuhren zu lassen. Da hierbei nur 
einzelne Ausschnitte (ROI) der gesamten Bildinformation 
bearbeitet werden miissen, ist beim Einsatz leistungsfahiger 
Prozessoren moglich, den hohen Rechenaufwand in Echt- 
zeit durchzufuhren. Dabei ware es besonders vorteilhaft, 35 
wenn diese Information einem zweiten Verarbeitungsschritt 
direkt aus den bereits von der Monobildkamera 1 gelieferten 
Bilddaten 10 gewonnen werden konnte. Auf ist es moglich 
das System ohne die Verwendung eines zusatzlichen entfer- 
nungs-messenden Sensors 3 zu realisieren. 40 
[0017] In vorteilhafter Weise, wird bei dem erfindungsge- 
maBen Verfahren die aus der wiederholten Vermessung der 
Entfernung der Verkehrsteilnehmer oder Hindernisse vom 
Beobachter gewonnene Information dazu verwendet, die 
Relativgeschwindigkeit dieser Objekte in Bezug auf den Be- 45 
obachter zu bestimmen. Besonders vorteilhaft wirkt sich da- 
bei aus, wenn der entfernungs-messende Sensor 3 zusatzlich 
neben der Entfernungsinformation auch Geschwindigkeits- 
information liefert (z. B.: Doppler-Radar). Auf diese Weise 
konnte die indirekte Geschwindigkeitsschatzung aus der 50 
Abfolge der Entfemungsmessungen entfallen. 
[0018] Die Entfernungs- und Geschwindigkeitsinforma- 
tion 30 wird gemeinsam mit der Bildinformation 10 einer 
Auswahleinheit 4 zugefuhrt. Diese Auswahleinheit ent- 
scheidet dann gemaB ihren Vorgaben, welche der Bilddaten 55 
einer lyp-Klassifikation innerhalb einer nachgeschalteten 
Klassifikationseinheit 5 zugefuhrt werden. Es ist denkbar, 
dass die Auswahleinheit 4 so konfiguriert wird, daB sie 
grundsatzlich alle ROI zugehorigen Bilddaten einer Typ- 
Klassifikation zufuhrt. Andererseits konnen aber auch in 60 
vorteilhafter Weise nur die Bilddaten jener ROI weitergelei- 
tet werden, welche Verkehrsteilnehmem oder Hindernissen 
zugeordnet werden, welche bestimmte Kriterien erfullen. 
Dabei ist vor allem das vorhandene Gefahrdungspotential in 
Betracht zu Ziehen; so zum Beispiel die GroBe von Objekten 65 
oder deren Geschwindigkeit mit der sie sich auf den Beob- 
achter zu bewegen oder auch deren Relativgeschwindigkeit 
allgemein (z. B. schnelle oder stehende Objekte). 
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[0019] Fur die eigentliche Typ-Klassifikation innerhalb 
der Klassifikationseinheit 5, welche einer exakten Bestim- 
mung der Art von Verkehrsteilnehmer oder Hindernis dient, 
kann auf bekannte, speziell auf diese Art von Objekten trai- 
nierte Klassifikationsalgorithmen zuriickgegrifTen werden. 
In vorteilhafter Weise eigenen sich hierzu Neuronale Netze, 
wie beispielsweise ein Radial-Basis-Funktions- Klassifika- 
tor oder eine Support- Vector- Maschine. 
[0020] In vorziiglicher Weise eignen sich das erfindungs- 
gemaBe Verfahren und die erfindungsgemaBe Vorrichtung 
zur Friiherkennung und Folgeabschatzung von Unfallsitua- 
tionen (PreCrash-Detektion). 

Patentanspriiche 

1. Verfahren zur Detektion von Verkehrsteilnehmem 
und Hindernissen auf der Grundlage von Kamerabil- 
dern, zu der Bestimmung deren Entfernung vom Beob- 
achter und zu deren Klassifikalion, dadurch gekenn- 
zeichnet, 

daB ein auf die Erkennung von Verkehrsteilnehmern 
und Hindernissen ausgerichteter Klassifikator Regio- 
nen innerhalb eines zweidimensionalen, nicht entfer- 
nungsaufgelosten Kamerabildes identifiziert, 
daB in einem weiteren Schritt diese so identifizierten 
Regionen markiert und sodann mittels eines entfer- 
nungs-messenden Sensors beziiglich ihrer Entfernung 
vom Beobachter vermessen werden, 
und daB anschlieBend ausgewahlte Regionen einer 
Typ-Klassifikation zur Erkennung der Verkehrsteilneh- 
mer bzw. Hindernisse zugefuhrt werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, daB das Kamerabild, welches zur Identifikation 
von Verkehrsteilnehmern herangezogen wird, nur 
zweidimensionale Bildinformation, ohne Entfemungs- 
auflosung enthalt. 

3. Verfahren nach einem der Anspriiche 1 oder 2, da- 
durch gekennzeichnet, daB die aus der Vermessung ge- 
wonnenen Informationen zur Bestimmung der Relativ- 
geschwindigkeit der einzelnen Verkehrsteilnehmer 
bzw. Hindernisse benutzt wird. 

4. Verfahren nach einem der Anspriiche 1 bis 3, da- 
durch gekennzeichnet, daB der auf die Erkennung von 
Verkehrsteilnehmern ausgerichtete Klassifikator ein 
Hyperpermutations-Netzwerk ist. 

5. Verfahren nach einem der Anspriiche 1 bis 4, da- 
durch gekennzeichnet, daB ein Boxalgorithmus zur 
Markierung von als Verkehrsteilnehmer identifizierten 
Regionen verwendet wird. 

6. Verfahren nach einem der Anspriiche 1 bis 5, da- 
durch gekennzeichnet, daB der entfernungs-messende 
Sensor ein Radarsensor ist. 

7. Verfahren nach einem der Anspriiche 1 bis 5, da- 
durch gekennzeichnet, daB der entfernungs-messende 
Sensor ein Stereo-Kamerasystem ist. 

8. Verfahren nach einem der Anspriiche 1 bis 5, da- 
durch gekennzeichnet, daB der entfernungs-messende 
Sensor ein Mono-Kamerasystem ist, welches durch ge- 
eignete Bildverarbeitung in der Lage ist Entfemungs- 
schatzungen vorzunehmen. 

9. Verfahren nach Anspruch 8, dadurch gekennzeich- 
net, daB das Mono-Kamerasystem das selbe System ist, 
mittels welchem bereits im ersten Schritt das zweidi- 
mensionale, nicht entfernungs-aufgelbste Kamerabild 
generiert wurde. 

10. Verfahren nach einem der Anspriiche 1 bis 9, da- 
durch gekennzeichnet, daB der Klassifikator zur iyp- 
Klassifikation ein Radial-Basis-Funktions-Klassifika- 
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tor ist. 

11. Verfahren nach einem der Anspriiche 1 bis 9, da- 
durch gekennzeichnet, daB der Klassifikator zur iyp- 
Klassifikation eine Support- Vector-Maschine ist. 

12. Verfahren nach einem der Anspriiche 1 bis 11, da- 5 
durch gekennzeichnet, daB die Auswahl der einer Typ- 
Klassifikation zu unterziehenden Regionen in Abhan- 
gigkeit ihrer Entfernung und/oder Relativgeschwindig- 
keit bezuglich des Beobachters getroffen wird. 

13. Verfahren nach einem der Anspriiche 1 bis 11, da- to 
durch gekennzeichnet, daB die Auswahl der einer Typ- 
Klassifikation zu unterziehenden Regionen alle als Ver- 
kehrsteilnehmer bzw. Hindernis identifizierten Regio- 
nen einbezieht. 

14. Verfahren nach einem der vorhergehenden An- 15 
spruche, dadurch gekennzeichnet, daB das Ergebnis der 
Typ-Kkssifikation einem Gefahrenrechner zur Ent- 
scheidung iiber evd. einzuleitende Reaktionen iibermit- 
telt wird. 

15. Vorrichtung zur Detektion von Verkehrsteilneh- 20 
mern und Hindernissen auf der Grundlage von Kame- 
rabildern, zu der Bestimmung deren Entfernung vom 
Beobachter und zu deren Klassifikation dadurch ge- 
kennzeichnet, 

daB eine Monobildkamera 1 mit einer entfernungs- 25 

messenden Sensoreinheit 3 gekoppelt ist, 

und daB sich dieser Kopplung zwischen- und nachge- 

schaltet jeweils eine Klassifikationseinheit 2 und 5 be- 

findet. 

16. Vorrichtung nach Anspruch 15, dadurch gekenn- 30 
zeichnet, daB die Monobildkamera 1 mit einer Klassifi- 
kationseinheit 2 verbunden ist, 

daB diese Klassifikationseinheit 2 einen Modul zur 
Identifikation von Bildregionen, welche Verkehrsteil- 
nehmem und Hindernissen zuzuordnen sind, enthalt 35 
und welcher diese Regionen markiert und die entspre- 
chenden Daten 20 am Ausgang des Moduls fur eine 
Weiterverarbeitung zur Verfugung stellt, 
daB an den Ausgang des Moduls eine entfemungs-mes- 
senden Sensoreinheit 3 gekoppelt ist, welche in der 40 
Lage ist, die markierten Bereiche bezuglich ihrer Ent- 
fernung vom Beobachter zu vermessen, und diese 
MeBdaten iiber eine Verbindung 30 einer Auswahlein- 
heit 4 zur Verfugung stellt, iiber welche eine zweite 
Klassifikationseinheit an das Gesamtsystem ange- 45 
schlossen ist, welche die ihr von der Auswahleinheit 
gelieferten Regionen 40 bezuglich des typs von Ver- 
kehrsteilnehmer bzw. Hindemis klassifiziert. 

17. Vorrichtung nach einem der Anspriiche 15 oder 16, 
dadurch gekennzeichnet, daB mit dem Ausgang der 50 
Klassifikationseinheit zur TVp-Klassifikation 5 ein Ge- 
fahrenrechner verbunden ist. 

18. Verwendung des Verfahrens nach einem der An- 
spriiche 1 bis 14, zur Friiherkennung von Unfallsitua- 
tionen (PreCrash-Detektion). 55 

19. Verwendung der Vorrichtung nach einem der An- 
spriiche 15 bis 17, zur Friiherkennung von Unfallsitua- 
tionen (PreCrash-Detektion). 
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